Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations
LLM 品牌推荐的检索与排序评估框架
🧭 LLM 推荐评估 · 随机检索排序
Northwestern University · Boston University
提出基于重复采样的 BRP@k / MRR@k 框架，将 LLM 品牌推荐视为随机检索与排序过程
📌 工作参考价值（4 点）
- 在电商/广告场景用 LLM 直接推荐品牌或商品时，不要把单次输出当稳定排序；应做多次重复采样，用 BRP@k 和 MRR@k 估计品牌/商品出现概率与排名分布，避免误判模型偏好。
- 品类词泛 query 会系统性遗漏大量成熟品牌，且 LLM prominence 与传统销量/品牌热度关联有限，更贴近搜索热度、线上讨论声量等全域可见度信号；做 LLM 品牌曝光优化时，应重点运营搜索与内容生态，而不是只堆 GMV。
- 需求化 prompt 会显著改变品牌检索集合；如果想让某些品牌在 LLM 推荐中被召回，不要只依赖品类词，可以在 prompt 中植入用户目标、约束或差异化卖点，类似于 GEO 的 prompt 策略。
- 诊断 probe 可识别“条件可检索品牌”：品牌在泛 prompt 下不出现，但提供独特线索后能被召回。这可用于评估品牌语义关联是否被 LLM 学到，并指导品牌描述、属性标签和内容投放。